#prompt sensitivity

3 篇

Augur: A Synthetic Decision Lab for Rehearsing Reactions to Product and Policy Changes

Augur：预演产品与政策变更反应的合成决策实验室

🧭 LLM 评估与合成人群模拟

PayPal AI

构建合成决策实验室，发现开放权重模型与前沿模型的差距多源于评估欠规范而非能力差异

📌 工作参考价值（4 点）

评估生成式推荐/Agent 决策时，先审计 prompt 是否公平，尤其决策 taxonomy 是否显式给定；固定权重、样本、scorer 做 matched ablation，报告 paired McNemar + Holm 校正，否则会误判自研小模型与闭源大模型差距。
可在发版前用 grounded persona 市场模拟用户/商户/平台三方反应，对定价、广告政策、推荐策略变更做离线预演；用变更文档构建 persona，比通用角色扮演更能暴露真实争议点。
注意 LLM 合成用户容易系统性“过度悲观/over-doom”，别直接以负面比例做上线否决；要校准、与真实反馈对照，且 teacher agreement 高不代表决策准确率提升。
离线部署 LoRA-SFT 开放权重模型服务于决策 memo，在公平评估下可与 frontier 模型无显著差异，适合电商内部高 QPS 决策审计场景。

Eval | 2026-09-24 | cs.CL | score 7/10

探测方向是其提示的属性

🧭 模型评估 · 线性探测可靠性

Devoteam

线性探测评估中“宣布评估”的提示措辞主导探测分数，单提示设计不可靠

📌 工作参考价值（4 点）

业务中用 LLM 做评估（推荐理由生成、搜索结果排序、Agent 能力评测）时，别把某个“标准提示模板”当作唯一测量工具：提示措辞会直接改变评估结论甚至模型相对排名。应把提示视为随机因子，准备多个语义等价变体，报告跨提示方差。
模型选型或 A/B 测试之前，不要只增加评估样本数量来提升可靠性：样本增加无法修复由提示选择带来的系统偏差；优先增加提示多样性，并估算达到可接受信度所需的最少提示数。
警惕表面形式捷径：如果模型或裁判模型只依赖格式、关键词等表面特征就能通过评估，说明测量可能没有捕捉真实能力。在设计自动化评测时加入表面形式对照组，检查得分是否真的反映目标能力。
跨模型比较必须采用多提示设计：在电商搜索/推荐场景中，不能用一个提示下的准确率对比 LLM 选型或推荐文案生成质量；应根据论文给出的提示数量规划，避免单提示结论误导上线决策。

Eval | 2026-08-13 | cs.LG | score 6/10

一个提示不够：指令敏感性破坏嵌入模型评估

🧭 嵌入模型评估的指令敏感性

Aarhus University

指令嵌入模型性能对提示措辞高度敏感，单点评估掩盖真实分布，排行榜排名不稳健。

📌 工作参考价值（4 点）

在电商搜索、推荐系统中使用指令嵌入模型时，不能仅依赖官方给出的单个默认提示，应针对同一任务编写多个语义等价的指令变体，测试性能分布，避免因提示波动导致线上效果恶化。
构建内部基准测试时，加入提示稳健性指标：除了报告平均得分，还应报告标准差或绘制箱线图，识别易受提示影响的模型，选择更稳定的模型上线。
在 A/B 测试或模型选型阶段，刻意用不同的指令措辞评估多个候选模型，防止选出一个只在特定提示下表现好但泛化差的模型。
工程上，可预先存储多组任务指令，在推理时随机选择或按历史效果加权，降低单点提示带来的方差，提升系统鲁棒性。

Eval | 2026-05-21 | cs.IR | score 7/10